Transfer learning from large language models (LLMs) has emerged as a powerful technique to enable knowledge-based fine-tuning for a number of tasks, adaptation of models for different domains and even languages. However, it remains an open question, if and when transfer learning will work, i.e. leading to positive or negative transfer. In this paper, we analyze the knowledge transfer across three natural language processing (NLP) tasks - text classification, sentimental analysis, and sentence similarity, using three LLMs - BERT, RoBERTa, and XLNet - and analyzing their performance, by fine-tuning on target datasets for domain and cross-lingual adaptation tasks, with and without an intermediate task training on a larger dataset. Our experiments showed that fine-tuning without an intermediate task training can lead to a better performance for most tasks, while more generalized tasks might necessitate a preceding intermediate task training step. We hope that this work will act as a guide on transfer learning to NLP practitioners.

选举演讲在交流候选人的愿景和使命中起着不可或缺的作用。从崇高的承诺到泥泞，选举候选人都对所有人说明了。但是，关于选民究竟赢得了什么胜利，仍然存在一个公开的问题。在这项工作中，我们使用最先进的自然语言处理方法来研究共和党候选人唐纳德·特朗普（Donald Trump）和民主党候选人乔·拜登（Joe Biden）的讲话和情感，他们争夺2020年美国总统大选。比较美国的种族二分法，我们分析了导致不同候选人的胜利和失败的原因。我们认为，这项工作将为选举竞选策略提供信息，并为与各种人群进行沟通提供基础。

作为自我监督的代表学习中的一个精美工具，近年来对比学习越来越关注。从本质上讲，对比学习旨在利用用于代表学习的正面和负样本对，这与利用特征空间中的邻居信息涉及利用邻居信息。通过调查对比学习和邻里分量分析（NCA）之间的联系，我们提供了一种对比学习的新型随机最近邻近的观点，并随后提出了一系列优于现有的对比损失。在我们拟议的框架下，我们展示了一种新的方法来设计集成的对比损失，可以同时实现下游任务的良好准确性和鲁棒性。凭借综合框架，我们对标准准确性的高达6 \％改进，提高了对普通准确性的17％。

本文在资源受限边缘设备中阐明了声学单音和多音分类的模型。所提出的模型是最先进的快速准确稳定的微小门控复发性神经网络。通过使用较低的参数，通过使用更高的效率和降噪算法的参数，该模型与先前的假设方法相比，该模型改善了性能度量和较低尺寸。该模型实现为声学AI模块，专注于应用声音识别，本地化和部署，如自主汽车的AI系统。此外，包括本地化技术的潜力将新的维度添加到自动车辆中存在的多色分类器，因为它未来城市城市和发展中国家的需求增加。

HyperParameter优化是机器学习中的一种无处不在的挑战，训练型模型的性能在其有效选择时依赖于大致依赖。虽然为此目的存在丰富的工具，但目前在差分隐私（DP）的约束下，目前没有实际的超参数选择方法。我们研究鉴于差异私立机器学习的诚实的封锁，其中，在整体隐私预算中占了超代调优的过程。为此，我们）显示标准的组合工具在许多设置中优于更高级的技术，ii）经验和理论上展示了学习率和剪辑规范率HyperParameters，III之间的内在联系，表明DPADAM等自适应优化器享有显着的优势在诚实的HyperParameter调整过程中，IV）借鉴了DP设置中ADAM的新颖限制行为，以设计新的更高效的优化器。

移动对象检测和分割是自主驱动管道中的基本任务。检测和隔离车辆周围环境的静态和移动部件在路径规划和定位任务中特别关键。本文提出了一种新的实时架构，用于光检测和测距（LIDAR）数据的运动分割。我们在2D鸟瞰图（BEV）表示中使用两个连续扫描的LIDAR数据（BEV）表示，以将像素明智的分类执行为静态或移动。此外，我们提出了一种新的数据增强技术，以减少静态和移动物体之间的显着类别不平衡。我们通过用切割和粘贴静电车辆人工合成移动物体来实现这一点。我们在常用的汽车嵌入式平台上展示了​​8毫秒的低延迟，即Nvidia Jetson Xavier。据我们所知，这是第一个直接在Lidar Bev空间中执行运动细分的工作。我们为具有挑战性的Semantickitti数据集提供定量结果，HTTPS://youtu.be/2AJ-CL8B0LI提供定性结果。

联合学习（FL）是一个分布式模型培训范式，可保护客户的数据隐私。在计算时间，传输时间，计算负载和传输负载方面，FL超参数显着影响训练开销。然而，目前手动选择FL超参数的实践在流动者中对FL从业者进行了高负担，因为各种应用更喜欢不同的训练偏好。在本文中，我们提出了FEDTUNING，这是一种针对应用程序的自动流动调整算法，对应用程序的多种系统要求进行了多种。与固定的FL超参数相比，FEDTUNING是轻量级和灵活的，平均改善了不同的训练偏好的改进22.48％。FEDTUNING可在HTTPS://github.com/dtczhl/fedtuning使用。